可控数据升格 + 联合 RL/在线蒸馏的长程多模态搜索智能体
🧭 多模态搜索 Agent 训练 ★ 深度解读
Peking University · HKUST(GZ) · Tsinghua University · The University of Hong Kong · Huawei Cloud BU
用可控问题升格与联合 RL/在线蒸馏，把易题变难、难轨迹变可学
📌 工作参考价值（4 点）
- 可复用的问题升格框架：Expand/Blur/Visualize 把已有简单 VQA 或搜索日志升级为长链、实体消歧、跨模态证据任务；电商场景可把“这是什么商品”改写成多跳品牌/历史/场景链，并要求买家秀或商品图反搜验证，提升训练数据难度。
- 难度与质量双筛选：先用直接答案探针过滤参数化捷径，再用专家 rollout 的 Pass@k 评估难度并分池；业务上可先易样本 SFT，再难样本 RL，减少奖励噪声和人工标注成本。
- RL 训练中加入行为惩罚与 token 级 OPD：只对失败或不完美轨迹启用在策略蒸馏，教师信号按 reward gap 加权，并指数衰减 λ；这比纯终局奖励更稳定，适合搜索/推荐 Agent 的 RLVR 训练。
- 监控行为经济性：训练后期 tool call 和 response length 下降但答案奖励不降，说明可先鼓励长程探索、后收紧效率；在线上 Agent 优化中可用同样指标做早停。
OfficeTown：面向专业组织的生成式模拟与智能体演进框架
🧭 生成式组织模拟 · 多智能体协作评估与训练
Wuhan University · University of California San Diego · South China University of Technology · Cornell University · Microsoft Research Asia
用生成式组织模拟持续产生专业任务、上下文与反馈，构建 406 任务基准并训练提升 Qwen3.5-9B
📌 工作参考价值（4 点）
- 用自然语言组织描述自动生成任务流、工件、权限和反馈，可迁移到电商运营/广告投放/客服等场景，低成本构建多智能体训练与评估环境。
- Principal–assistant 架构值得借鉴：主 Agent 拆解需求、委派边界子任务并审查交付物，子 Agent 只可见权限内上下文，适合搜索推荐链路中把意图理解、召回、排序、文案生成拆给不同子 Agent。
- 持久化 artifacts、decisions、unresolved matters 相当于跨任务长期记忆，可提升多轮推荐/搜索 Agent 对用户历史、活动状态和未决问题的利用效率。
- 模拟数据 + SFT/on-policy distillation 能有效提升外部专业工作基准，业务上可批量生成带评审反馈的搜索推荐 Agent 轨迹，蒸馏到中小模型，降低线上成本。
基于信息增益校准的在线策略蒸馏用于深度搜索智能体
🧭 On-policy distillation · 信息增益校准 ★ 深度解读
The Chinese University of Hong Kong, Shenzhen · Renmin University of China · Beijing University of Posts and Telecommunications · Beijing Academy of Artificial Intelligence (BAAI)
提出 IG-OPD，用检索后信息增益校准 OPD 的预算与方向先验，修正证据盲监督
📌 工作参考价值（4 点）
- 多轮检索/会话 agent 蒸馏时，teacher 对 query 的似然偏好不等于检索证据的实际效用；可引入 post-retrieval information gain（如文档是否包含答案、证据是否改变后续置信）作为校准信号，对 query/tool-call tokens 做奖励修正，避免好 query 被误罚。
- 按 turn 而不是按 token 长度分配监督权重：搜索/召回 turn 通常短但信息增益高，合成/回答 turn 长但增益低；ITC 的预算重分配可通过 token loss 乘 ratio 实现，无需改 trainer，工程成本低。
- 在电商搜索/推荐中，用户 query 改写、检索式推荐、多跳推理 agent 训练可借鉴 IQC 只修正 action-critical tokens（query 字符串、工具参数）而保持 reasoning tokens 不变；对第一跳正反馈、后续跳负反馈更可靠，可据此设计课程和 cosine ramp 避免早期对搜索行为的过度惩罚。
- 训练后模型推理无额外开销，但蒸馏时需额外做一次 teacher 对 gold answer 的评分，增加约 10% 训练时间/显存，适合离线训练阶段接受。
CriticOPD：用批评引导重写恢复在线策略蒸馏的可靠监督
🧭 On-policy distillation 可靠监督恢复 ★ 深度解读
Brigham Young University · University of North Carolina at Chapel Hill
教师先批判错误，学生从最后错误处重写；教师带批判评分、学生无批判训练，显著提升数学推理蒸馏效果。
📌 工作参考价值（4 点）
- 在电商/Agent 的生成式策略蒸馏中，不要直接对错误的学生轨迹做 token 级教师监督；先让强模型批判错误，截断到最后一个错误后重写，只蒸馏重写 suffix，可避免教师跟错，并保持学生轨迹覆盖。
- 把 critique/reference answer 当 privileged context：教师评分时可见，学生训练和上线都不可见，因此能利用更强反馈而不增加推理时延或 prompt 长度；适合有可验证结果的任务，如 query 改写是否召回商品、结构化生成是否符合 schema、生成代码单测。
- 若业务没有 reference answer，可用 reward model、人工反馈或转化标签替代，但批判质量决定收益；论文显示 73–81% 的 valid error flags 即可带来显著提升。
- 选择“只监督重写后缀、保留错误前缀”的做法，比提前截断或教师接管更接近推理分布；在在线学习或 agent 轨迹蒸馏时可作为降低 occupancy mismatch 的工程原则。
SAIL：通过科学感知循环实现科学智能体智能
🧭 科学智能体训练循环
IQuest Research
35B总参/3B激活的开源科学智能体，用失败诊断自动生成训练任务，性能媲美更大模型
📌 工作参考价值（4 点）
- 业务 Agent 失败诊断闭环：用强模型分析业务 Agent 的失败 case，定位是检索证据选择、规划修订还是工具调用能力不足，再基于业务知识库自动生成带交互轨迹和可执行环境的训练样本，比人工标注更可规模化。
- 小模型逼近大 Agent 能力的训练组合：先做子能力 specialist SFT（如 query 改写、搜索结果筛选），再用多个 frontier model 做多教师 on-policy 蒸馏，最后接入 Agentic RL。适合电商/搜索推荐场景下用低成本模型达到大模型 Agent 效果。
- MoE 架构降低推理成本：35B 总参 / 3B 激活的设计在保持推理低延迟的同时提升多任务能力，对需要实时响应的搜索推荐 Agent 有直接参考价值。
- 搜索型任务重点优化证据选择：论文发现文献任务失败主要来自证据选择，提示可以在搜索推荐 Agent 中显式构造 query 改写、召回结果排序、引用证据一致性等训练数据，而非只依赖端到端生成。
Opera：面向长程编码 Agent 的语言化批评框架
🧭 Agent 执行期批评与反馈闭环
Salesforce AI Research · Rutgers University · Lehigh University
将每次纠正视为持久化笔记并跟踪到问题解决，显著提升编码 Agent 的 resolve rate 并支持蒸馏训练
📌 工作参考价值（4 点）
- 对电商/广告场景中的长周期 Agent（自动选品、广告投放、多轮购物助手），把每次干预/纠正变成持久化 note 并跟踪到闭环，而不是发完反馈就结束；配合周期性+事件驱动触发器，避免在任务进行中过早打断。
- 诊断问题用 typed operators（如重复动作、过早完成、缺乏验证），可迁移到推荐/搜索 Agent 的轨迹诊断：定义可枚举的高频失败模式，比开放生成 feedback 更可控、可审计。
- 反馈投递前先做 evidence audit，只基于可见轨迹批评，降低 LLM critic 幻觉和误判；对推荐解释、query 改写评估等 critic 模块同样适用，可减少误导性反馈。
- 用 critic-guided rollouts 蒸馏成 on-policy 微调数据，使小模型（如 Qwen3.5-9B）推理时无需 critic 也能保持提升，适合线上低延迟的推荐/广告 Agent 部署；这是一个可复用的训练数据生产范式。
PivotOPD：多轮智能体从关键错误中学习恢复
🧭 Agent 多轮训练 · 关键错误恢复 ★ 深度解读
Princeton University · NVIDIA · University of Maryland
在关键轮做预防式 reverse KL、后续轮做恢复式 forward KL，大幅提升多轮 Agent 从关键错误恢复的成功率
📌 工作参考价值（4 点）
- 多轮 shopping/search agent 中，用 teacher hindsight 检测 pivotal mistake，把密集蒸馏信号集中在关键轮及后续恢复窗口，比均匀蒸馏更划算；在 WebShop 这类电商环境里，成功率提升明显大于部分得分，说明可把半途任务转化为完成订单。
- 若没有环境 oracle，可直接用较大 LLM 回读轨迹，选 candidate turns 并给出 gold action，与 student 实际 action 不一致就视为 pivotal；ALFWorld 上这种检测在 77.8% 失败轨迹中落在 oracle pivotal 附近，足够用于训练。
- 目标构造可复用：frozen student + gold/recovery action hint 作为 privileged self-teacher，生成学生风格的 token 级目标；预防用 reverse KL 压住错误动作，恢复用 forward KL 覆盖低概率恢复动作，两者放进同一个 PPO advantage 更新。
- 恢复预算 K 按任务调：短链路取 K=1，长动作链恢复取 K=2；蒸馏 advantage 建议 clip，preventive weight 设小，恢复序列只保留可解析且不泄露 hint 的回复。
PRISM：特权兄弟图引导的多智能体拓扑设计
🧭 多智能体拓扑设计 · 特权蒸馏 ★ 深度解读
National University of Singapore
利用同一 query 的其他成功拓扑作为特权输入，通过 on-policy 蒸馏改进多智能体拓扑生成器后训练
📌 工作参考价值（4 点）
- 如果业务中已有 execution-verified 轨迹/方案语料，但只有成功与否、没有显式排序，不要直接继续 SFT 到高频解；可以借鉴 PRISM，用同一请求/用户的其他成功解作为训练期特权输入，让学生模型在自己的采样轨迹上做 on-policy 蒸馏，保持多样性并提升 query-specific 效果。
- 推荐/搜索后训练常受 exposure bias 困扰：离线伪标签与线上自回归生成分布不一致。PRISM 的做法是学生按当前策略采样 M 条轨迹，教师在访问状态上给出决策级软标签，且用 reverse KL 鼓励模式集中，这比 forward KL/JSD 在数学类任务上平均更高；适合有多个成功解、需要模型收敛到某个模式而非平均的场景。
- 特权信息分支采用 zero-initialized FiLM + low-rank（rank=16）控制参数，训练后丢弃，部署结构不变、推理成本几乎不增；电商/广告中可将训练期才有的完整用户行为、后验转化信号、专家标注等作为特权输入，蒸馏进部署模型。
- 做消融时建议同时跑 constant teacher 和 shuffled teacher 对照，分离“蒸馏过程收益”和“特权内容收益”；PRISM 显示 shuffled 甚至会误导，constant 蒸馏只带来部分提升，真实 sibling 内容贡献额外 +1.66% 平均准确率，这种拆解对评估训练技巧很有用。
生成式检索器学习语义ID时如何保留语言生成能力
🧭 生成式检索的语义ID防遗忘训练 ★ 深度解读
University of Glasgow · Brave
SpeakGR用on-policy蒸馏的正向KL正则，在SID检索微调中保留LLM文本分布，语言drift降低81-94%且检索不降
📌 工作参考价值（4 点）
- 在电商/搜索的生成式召回（如物品Semantic ID或文档SID）中，仅用SID CE微调会让LLM的对话/解释能力迅速崩溃：PPL从31.69涨到53966，Top-1一致性从100%掉到0.13%。因此如果系统还需要模型回答追问、解释结果或澄清query，必须在SID阶段加语言保持损失。
- 可复用轻量正则：准备一个prompt池（WikiText自然前缀 + 指令/QA类），每步约6条；学生以文本-only rollout生成前缀（mask SID logits，temperature 0.8/top-p 0.9/top-k 20），冻结base模型给出同前缀next-token分布，最小化正向KL（重新归一化到原始词表）。比offline replay更稳定，几乎不增加额外模型。
- 三阶段训练（doc→SID、伪query→SID、真实query→SID）里，语言正则可在Stage1用λ0=0.1并逐步加强；若不想手动调权，可用Adaptive SpeakGR：对preservation KL做EMA，λ按clip(K/ε−1)乘性更新，ε取0.5–2较稳，过严的ε反而双输。
- 工程上要单独统计SID mass：SFT-only在文本上下文里有4–26%概率分配给SID token，而SpeakGR可降到0.2–0.6%；保持前向KL的同时需mask SID logits，避免评估语言时SID泄漏。
特权表征在线策略自蒸馏用于智能体强化学习
🧭 Agent RL · 特权表示自蒸馏 ★ 深度解读
University of Florida · University of Illinois at Chicago · Case Western Reserve University · Vanderbilt University · Weill Cornell Medicine
提出 PR-OPD，用分层隐藏状态对齐替代 token 概率蒸馏，把智能体自生成技能的特权优势传给无技能策略，推理零额外开销
📌 工作参考价值（4 点）
- 在电商导购/客服 Agent 的 RL 训练中，若手头有事后信息（用户真实意图、成交/退货、人工反馈），可让同一策略先跑 GRPO，再对每条轨迹生成 hindsight skill，用无技能/有技能两次前向做 teacher；蒸馏目标用隐藏状态对齐，而不是输出 logits/KL。很多点击/转化信号是稀疏 episode reward，这样能把事后信息变为稠密监督。
- 工程实现很轻：只增加一个每层轻量 MLP projector（512 维隐藏层），teacher 与 student 共享权重，推理时丢弃 projector；不引入外部 teacher 模型、技能库或额外推理开销，适合线上部署。
- 小模型直接对齐原始 hidden state 可能崩，务必保留 projector；并且要对齐所有层而非只 last layer，因为技能信息在中间层最强；先 warm start 是关键，WebShop 上 N=120 优于 N=100，10-30 个监督步已经能拿到大部分收益。业务里可先纯 reward 训练到一定成功率，再开启表示蒸馏。
- 有些改进不会体现在 top-1/token 概率上（如 action token 概率几乎不变但隐藏状态大幅变化），所以训练日志不能只看 loss 或 token accuracy；可以通过线性 probe 诊断隐藏状态是否携带可迁移信息，再决定用表示对齐。
ACLArena：多阶段后训练中的 Agent 持续学习
🧭 Agent 多阶段后训练与持续学习 ★ 深度解读
University of California, Los Angeles · University of California, Santa Cruz
构建多阶段 Agent 后训练基准，诊断遗忘机制并融合 SDFT 与 LoRA-RL 专家路由，缓解跨阶段能力遗忘
📌 工作参考价值（4 点）
- 做多阶段 agent 训练（如搜索问答、电商客服、工具调用）时，先 SFT 冷启动任务接口与行为格式，再用 RL/蒸馏精化；不要用 SFT 恢复旧能力，其参数更新幅度是 RL 的 3-7 倍，容易覆盖相邻阶段能力。
- 多教师 on-policy 蒸馏可采用 MOPD：对低熵 token 用 reverse KL 精确模仿，对高熵决策 token（选 query、工具调用）切换 forward KL 并 top-q 截断，能避免 agentic 任务中熵坍塌和训练发散；多域 teacher 按 domain tag 路由，不要平均 logits。
- 多领域电商/搜索 agent 可采用 MLE 架构：共享一个 SDFT 主干，每个领域（搜索、交易、客服）训练独立 LoRA adapter + RL，推理按环境上下文路由；参数隔离减少跨域遗忘，增量成本低、部署统一。
- SDFT 轨迹蒸馏时必须 balanced-mix 而非按数据量随机混，防止高量任务淹没低资源领域；轨迹过滤需检查 final reward、工具调用合法性、协议合规并做近似去重。
SenseNova-U1.5：迈向原生统一视觉智能
🧭 原生统一多模态模型与图像生成
发布8B-MoT原生统一多模态模型，在无Encoder/VAE架构下完成理解、推理与视觉生成，并借多专家on-policy蒸馏增强视觉能力
📌 工作参考价值（4 点）
- 电商商品图生成与编辑：利用其多参考编辑、主体身份/几何保持与未修改区域保护能力，可自动完成商品换背景、多商品组合、局部保留等广告素材生成；双语文本渲染能力适合生成带价格、卖点、促销文案的营销图。
- 多专家 on-policy distillation 可迁移到业务模型：针对不同任务（文案生成、视觉审美、图像编辑）分别优化专家，再用 on-policy 蒸馏整合到统一模型，避免多模型部署的运维成本与延迟。
- Encoder-free/VAE-free 架构减少图像 token 转换中的信息损耗，对生成式推荐中直接建模商品视觉特征（如生成商品图或场景图）有参考价值；支持 4K 原生分辨率适合高细节素材生产。
- 对长、复杂、结构化视觉指令的泛化能力，提示多模态理解可迁移到视觉规划与创作，可尝试用于 Agent 自动排版、生成商品详情页布局或广告创意版式。
RLVR 多域能力融合范式深度对比
🧭 RLVR 多域融合范式对比 ★ 深度解读
Fudan University · Tencent
系统对比 Merge、Mix RL、MOPD，发现跨域关系决定性能，融合仅重排已有解不扩覆盖
📌 工作参考价值（4 点）
- 多能力 LLM 后训练融合选型：如果线上已有 query 改写、商品文案、Agent 工具调用等分别 RLVR 产出的 LoRA/全参 expert，优先试 Merge/Task Arithmetic，融合成本几乎为 0；但下单前先算 task-vector cosine，IF/Agent 类能力通常与其他域近乎正交，merge 后会掉点，需单独评估或提高权重。
- 如果没有现成 expert 且要训练统一模型，用 Mix RL 成本约为单域 RL 的 0.58-0.67x；数据混合比例不能简单按自然数据量，推理型任务（数学/代码/科学）可以互相增强并适度降低配比，指令遵循/Agent 类缺少正向迁移，必须保证足够的采样占比，否则对应 benchmark 会明显塌陷。
- MOPD 适合已有 domain experts 且要求各域精度不掉、可以接受端到端成本更高的场景；它的收敛快但被 teacher 上限约束，不适合期望超越单专家的场景。
- 融合只提升 pass@1、不扩大解覆盖，对搜索/推荐里首屏 top-1 质量优化有效；若目标是长尾多样性或生成式 item ID 覆盖，需要额外做采样、多样性约束，而不是靠单模型融合。
基于可验证奖励的在线策略蒸馏
🧭 RLVR+OPD 无缝结合训练推理模型 ★ 深度解读
LeapLab, Tsinghua University · Beihang University · SMS, Peking University · NLPLab, Tsinghua University
对采样 token OPD 的 log-ratio 奖励做 ReLU 门控，使教师信号与轨迹正确性对齐，零超参结合 OPD 与 RLVR
📌 工作参考价值（4 点）
- 可直接复用的训练 trick：若业务中已有可验证奖励（点击、转化、GMV 等）和教师模型或旧版模型，可在 on-policy 蒸馏损失中只加一行 ReLU 门控——正确轨迹上 max(0, log(πT/πθ))，错误轨迹上 -max(0, log(πθ/πT))，无需额外超参或 loss 权重，即能避免教师信号与业务奖励方向冲突。
- GRPD 替换二元 reward：用 GRPO 的 group-relative advantage 替换二元正确性 sign，再做同样的 ReLU gate，可平滑引入相对优势信息；适合推荐/广告中 reward 噪声大、需要组内归一化的场景。
- 训练健康度监控指标：论文观察到 zero-gated token ratio 稳定在 40-50%，可作为训练健康的实时监控；如果该比例过高或过低，说明教师信号与业务奖励大量冲突或几乎无冲突，需要检查教师模型质量或 reward verifier。
- 架构兼容性：该方法可无缝接入现有 PPO/GRPO/DAPO 训练框架，不改变采样流程；在已有的 RL 训练脚本中实现成本低，适合快速验证。
DAPD：双锚点策略蒸馏缓解特权幻觉
🧭 On-policy 蒸馏训练 · 特权幻觉缓解 ★ 深度解读
Shanghai Jiao Tong University · Shanghai Artificial Intelligence Laboratory · University of Science and Technology of China
识别 OPSD 中信息不对称为特权幻觉根源，提出双锚点蒸馏框架 DAPD，在多个任务和尺度上大幅提升性能。
📌 工作参考价值（4 点）
- 信息不对称对齐思路：电商推荐中 teacher 模型常用用户序列等额外特征，student 却无，可构造自条件中间分布作为桥梁，添加无特权信息的对齐损失（类似 Inference Anchor）来抑制幻觉，防止模型依赖不可见信号。
- 双源引导设计：在 Agent 策略蒸馏时，利用 teacher 轨迹（参考解）提供正确性监督，同时用 student 自身 rollout 提供可达性指导，通过 DSA 动态平衡两者权重（较小模型更多信任参考，较大模型更多信任 rollout），可迁移到多臂老虎机或排序策略的学习中。
- 工程技巧复用：DAPD 使用 detached teacher 与共享 snapshot 减少训练开销，且仅在训练时引入额外分布而不增加推理成本，适合用于在线推荐系统的模型蒸馏。
- 尺度适配策略：实验发现模型越大，从自身 rollout 获取的引导越有价值，可据此设计自适应的 source 权重调度，在推荐模型随业务增长时自动调整 teacher–rollout 信任比例。
扩散生成式推理重排器 Diff-GR2：将自回归重排器加速 2.4-3.5 倍并维持精度
🧭 扩散模型加速推理重排器 ★ 深度解读
Meta AI · UNC Chapel Hill
通过转换微调、在线蒸馏与强化学习三阶段方法，将自回归推理重排器转为块扩散模型，在 Amazon Beauty 上获得 2.4-3.5 倍吞吐提升且精度几乎无损。
📌 工作参考价值（4 点）
- 将自回归推理重排器转换为块扩散解码器可大幅降低序列推理成本，适合高 QPS 场景；转换微调（CFT）能直接让模型学会输出合法排列，省去外部约束解码器。
- 使用在线策略蒸馏（OPD）在模型自产轨迹上由 AR 教师提供 token 级监督，可有效消除训练-推理分布不匹配，对任何生成式重排任务的 precision 恢复有直接借鉴意义。
- 在 OPD 之后接 RL 阶段（基于排名提升和格式奖励）能在几乎不增加额外推理成本的情况下进一步提升 top-1 与 top-3 指标，可作为电商重排线上迭代的标准管线。
- 块扩散的 KV cache 与预填充摊销机制使得长 prompt（如用户历史 + 候选集）的重排延迟更低，这一工程实践可直接迁移至 LLM 推荐系统的在线推理部署。
DOPD：双重在线策略蒸馏
🧭 在线策略蒸馏·动态路由监督
NUS · MMLab, CUHK · PKU · Explore Academy, JD
提出优势感知双蒸馏，缓解特权信息导致的“特权幻觉”，动态路由教师与学生的token级监督
📌 工作参考价值（4 点）
- 蒸馏中引入额外上下文（如用户特征、长期行为）时，需警惕特权幻觉：学生无法获取的输入会导致模仿不可达信号。可借鉴优势感知路由：根据教师与学生的优势差距动态选择监督来源，学生自身生成的部分用自我监督，避免能力与信息不对称混淆。
- token级监督非均匀，优势高的token（如推荐理由中的关键词）承载关键能力。可仿照DOPD，对高优势token加强教师监督，低优token用学生自我蒸馏，提升训练效率与生成质量。
- 框架适用于on-policy样本生成场景（如LLM生成推荐文案、解释），采样学生轨迹后，可同时运行特权教师和特权学生，按token概率比与优势差实时分配监督，工程上易集成至现有RLHF或蒸馏管线。
- 实验中持续学习与分布外泛化提升明显，对推荐模型频繁更新的场景（如新品冷启、热点事件）有参考价值，能稳定性能并缓解灾难性遗忘。
SG-OPD: 符号一致性门控与分阶段教师采样的在线策略蒸馏
🧭 训练方法 · 在线蒸馏与符号一致性
Zhejiang University · Hunan University · Tianjin University · Shanghai Jiao Tong University · Jilin University
用验证器信号在轨迹和 token 层面过滤教师噪声，显著提升数学推理中的在线蒸馏效果
📌 工作参考价值（4 点）
- 在蒸馏冷启动阶段，使用验证器认可的教师轨迹按比例混入学生采样，能缓解轨迹对齐脆弱性问题；对电商场景下从大模型向小模型蒸馏对话或推荐理由时，可参考该分阶段策略以稳定初期训练。
- 符号一致性门控根据验证器与教师偏好的方向一致性，外推或内插蒸馏更新，相当于给 token 级监督赋予可调信任权重；在生成式推荐或 Agent 动作生成中，可引入类似的二值验证器来鉴别教师 token 的可靠性，降低噪声标签对蒸馏的负面影响。
- 整体框架强调用验证器作为学生和教师之外的第三方信任信号，这为多智能体系统中的知识迁移提供了新思路：可以设计一个专门的验证 Agent，监督教师智能体对学生智能体的指导质量。
- 尽管实验集中在数学推理，但方法不依赖任务特定设计，可直接迁移至任意序列生成任务的在线蒸馏，例如商品描述改写、搜索 Query 扩展等。